light mode
night mode
অ্যাপাচি নিফাই (Apache NiFi)
Apache NiFi এর পরিচিতি Apache NiFi কি? Dataflow Management এর ধারণা Apache NiFi এর বৈশিষ্ট্য এবং প্রয়োজনীয়তা Real-time Data Integration এর ক্ষেত্রে NiFi এর ভূমিকা Apache NiFi ইন্সটলেশন এবং সেটআপ NiFi ডাউনলোড এবং ইন্সটলেশন (Windows, Linux, macOS) Docker এর মাধ্যমে NiFi ইন্সটলেশন NiFi Cluster ইন্সটলেশন এবং কনফিগারেশন NiFi Web UI এবং User Interface এর সাথে পরিচিতি NiFi এর বেসিক কনসেপ্ট FlowFile, Processor, এবং Process Group এর ধারণা Data Provenance এবং Lineage NiFi Architecture এবং Components NiFi Flow Lifecycle (Input, Transformation, Output) Processors এর ভূমিকা এবং ব্যবহার Processors কি এবং কিভাবে কাজ করে Built-in Processors এর তালিকা (GetFile, PutFile, LogAttribute ইত্যাদি) Custom Processor তৈরি করা Processor Scheduling এবং Execution Control Apache NiFi এর মাধ্যমে ডেটা Ingest করা File System থেকে ডেটা সংগ্রহ করা (GetFile, ListFile) Database থেকে ডেটা সংগ্রহ (QueryDatabaseTable, ExecuteSQL) REST API এবং Web Services এর মাধ্যমে ডেটা সংগ্রহ করা Real-time Streaming Data সংগ্রহ (Kafka, MQTT) Data Transformation এবং Routing Content-based Routing (RouteOnAttribute, RouteOnContent) Data Filtering এবং Split/Join Processors Data Enrichment এবং Lookup Processors Data Format Transformation (JSON, XML, CSV) NiFi FlowFile Attributes এবং Content Management FlowFile Attributes এর ধারণা Attribute Modification Processors (UpdateAttribute, ReplaceText) FlowFile Content হ্যান্ডলিং Content-based Routing এবং Filtering NiFi এর মাধ্যমে ডেটা রাইট করা (Output) Local File System এ ডেটা সংরক্ষণ (PutFile, PutHDFS) Cloud Storage (Amazon S3, Google Cloud) এ ডেটা পাঠানো Relational Database এ ডেটা সংরক্ষণ (PutDatabaseRecord, PutSQL) Message Queues (Kafka, JMS, RabbitMQ) এ ডেটা পাঠানো NiFi Flow Management এবং Monitoring NiFi Controller Services ব্যবস্থাপনা NiFi Variables এবং Parameter Context ব্যবহার Flow Monitoring এবং Provenance Tracking Error Handling এবং Data Replay NiFi Cluster এবং High Availability NiFi Cluster Architecture এবং কাজের ধরন NiFi Cluster Setup এবং Configuration Data Partitioning এবং Load Balancing NiFi Cluster এ Data Replication এবং Failover NiFi Performance Optimization NiFi Performance Tuning (Memory, Disk, Network Optimization) Processor Scheduling এবং Back Pressure ব্যবস্থাপনা Flow File Size এবং Queue Management Load Testing এবং Performance Monitoring NiFi Security এবং Access Control NiFi Security Features (SSL, TLS, HTTPS) User Authentication এবং Authorization কনফিগার করা NiFi এর সঙ্গে LDAP এবং Kerberos Integration Secure Data Transfer এবং Encrypted Content NiFi API এবং Automation NiFi REST API এর মাধ্যমে Automation NiFi CLI ব্যবহার করে Automation এবং Workflow Management API এর মাধ্যমে Process Group এবং Processors পরিচালনা Automated Deployment এবং Continuous Integration Data Provenance এবং Lineage Tracking Data Provenance কি এবং কেন দরকার? Data Provenance Event Tracking Provenance Visualization এবং Data Lineage Tracking Data Provenance Query ব্যবহার NiFi Templates এবং Reusability NiFi Templates তৈরি এবং সংরক্ষণ Templates Import এবং Export করা Reusable Process Groups তৈরি করা Parameter Context এবং Dynamic Flow Creation NiFi Registry এবং Version Control NiFi Registry এর ভূমিকা NiFi Workflow এর Version Control এবং Deployment Workflow History এবং Rollback Features Continuous Integration এবং Continuous Deployment (CI/CD) Advanced Dataflow Techniques Complex Data Routing এবং Aggregation Dynamic Property এবং Parameter ব্যবহার Load Distribution এবং Dynamic Process Management Dataflow Parallelism এবং Asynchronous Processing Custom Processor Development Custom Processor কি এবং কেন দরকার? Custom Processor Development (Java) NiFi Extension API এবং Custom Processor Integration Custom Processors এর জন্য Best Practices NiFi এর সঙ্গে অন্যান্য টুল ইন্টিগ্রেশন Apache Kafka এবং NiFi Integration Apache Hive, HBase এর সঙ্গে NiFi ইন্টিগ্রেশন NiFi এর সঙ্গে Hadoop এবং Spark Integration NiFi এবং ELK Stack Integration (Elasticsearch, Logstash, Kibana) NiFi Best Practices এবং Troubleshooting NiFi Flow Design এর Best Practices Common Pitfalls এবং এড়ানোর উপায় NiFi Error Handling এবং Debugging Techniques NiFi Logs এবং Diagnostic Tools ব্যবহার Apache NiFi এর ভবিষ্যৎ এবং অন্যান্য টুলের সাথে তুলনা Apache NiFi এর ভবিষ্যৎ সম্ভাবনা এবং আপডেট Apache NiFi এবং Apache Kafka এর মধ্যে পার্থক্য Apache NiFi এর বিকল্প (StreamSets, Flume) NiFi এবং অন্য Dataflow Management টুলের তুলনা

File System থেকে ডেটা সংগ্রহ করা (GetFile, ListFile)

Java Technologies - অ্যাপাচি নিফাই (Apache NiFi) Apache NiFi এর মাধ্যমে ডেটা Ingest করা |
126
126

অ্যাপাচি নিফাই (Apache NiFi) ফাইল সিস্টেম থেকে ডেটা সংগ্রহ করার জন্য GetFile এবং ListFile প্রসেসর দুটি ব্যবহার করে। এই প্রসেসরগুলো ফাইল সিস্টেম থেকে ডেটা সংগ্রহ এবং পরবর্তী প্রক্রিয়াকরণের জন্য প্রস্তুত করে। তাদের মধ্যে কিছু মৌলিক পার্থক্য রয়েছে, যা বিভিন্ন পরিস্থিতিতে ব্যবহারের জন্য উপযোগী।

ListFile Processor

ListFile প্রসেসরটি একটি ফোল্ডারের মধ্যে উপস্থিত ফাইলের একটি তালিকা তৈরি করে এবং সেই ফাইলগুলিকে প্রসেসরের কাছে প্রেরণ করে। এটি একটি পর্যবেক্ষক প্রসেসর হিসেবে কাজ করে, যা ফোল্ডারটিতে নতুন ফাইল যোগ হওয়া বা পুরনো ফাইল মুছে যাওয়ার প্রতি মনিটরিং করে।

ListFile এর কাজের ধাপ

  1. ফোল্ডার স্ক্যান করা: ListFile প্রসেসরটি নির্দিষ্ট ফোল্ডারটি স্ক্যান করে এবং সেখান থেকে ফাইলের একটি তালিকা তৈরি করে।
  2. ফাইলের মেটাডেটা: ফোল্ডারে থাকা প্রতিটি ফাইলের মেটাডেটা (যেমন ফাইলের নাম, আকার, সৃষ্টির সময়, ইত্যাদি) সংগ্রহ করে।
  3. FlowFile তৈরি করা: প্রতিটি ফাইলের জন্য একটি FlowFile তৈরি করে এবং এটিকে পরবর্তী প্রসেসরের কাছে পাঠায়।

উদাহরণ

ListFile --> FetchFile --> Process (transform, filter, etc.) --> PutFile (or any destination)

ListFile এর ব্যবহার

  • যখন আপনি একটি নির্দিষ্ট ফোল্ডারে ফাইল জমা হওয়ার সাথে সাথে সেগুলোর জন্য কাজ শুরু করতে চান।
  • বড় আকারের ফোল্ডারে থাকা ফাইলগুলি পর্যায়ক্রমে তালিকা করে প্রসেস করার জন্য।

GetFile Processor

GetFile প্রসেসরটি নির্দিষ্ট ফোল্ডার থেকে ফাইলগুলো সরাসরি সংগ্রহ করে এবং সেগুলিকে FlowFile হিসেবে পরবর্তী প্রসেসিংয়ের জন্য প্রেরণ করে। এটি ListFile এর মতো ফাইলের তালিকা তৈরি করে না, বরং ফাইলগুলিকে সরাসরি প্রসেস করে এবং পরে সেগুলো ডিলিট বা মুভ করতে পারে। এটি সাধারণত স্থিতিশীল বা নির্দিষ্ট সময় অন্তর ফাইল সংগ্রহের জন্য ব্যবহৃত হয়।

GetFile এর কাজের ধাপ

  1. ফোল্ডার থেকে ফাইল সংগ্রহ: GetFile প্রসেসরটি একটি নির্দিষ্ট ফোল্ডার থেকে একটি ফাইল সংগ্রহ করে এবং এটি একটি FlowFile তৈরি করে।
  2. ফাইল মুছে ফেলা বা স্থানান্তর: ফাইল সংগ্রহ করার পরে, GetFile সেই ফাইলটি ফোল্ডার থেকে মুছে ফেলতে বা অন্য কোনো স্থানে সরিয়ে দিতে পারে।

উদাহরণ

GetFile --> Process (transform, filter, etc.) --> PutFile (or any destination)

GetFile এর ব্যবহার

  • যখন আপনাকে একে একে ফাইল সংগ্রহ এবং প্রক্রিয়া করতে হবে এবং ফাইলটি একবার ব্যবহৃত হলে তা সরিয়ে দিতে হবে।
  • স্ট্যাটিক ডিরেক্টরি থেকে নির্দিষ্ট ফাইলগুলিকে সিস্টেমে নিয়ে আসার জন্য।

ListFile এবং GetFile এর মধ্যে পার্থক্য

বৈশিষ্ট্যListFileGetFile
কার্যকারিতাফোল্ডারে উপস্থিত ফাইলগুলোর তালিকা তৈরি করেনির্দিষ্ট ফোল্ডার থেকে ফাইল সংগ্রহ করে
ফাইল হ্যান্ডলিংফাইলের মেটাডেটা সংগ্রহ করে, ফাইল জমা হয়নিফাইলটি সরাসরি সংগ্রহ করে, মুছে দেয় বা স্থানান্তর করে
স্টোরেজ ম্যানেজমেন্টফাইল মুছে ফেলা হয় নাফাইলটি মুছে ফেলা বা সরিয়ে ফেলা হয়
ব্যবহারফাইল প্রবাহ ম্যানেজমেন্ট, পর্যবেক্ষণএকে একে ফাইল সংগ্রহ এবং স্থানান্তর

সারাংশ

অ্যাপাচি নিফাই (Apache NiFi) এর ListFile এবং GetFile প্রসেসর দুটি ফাইল সিস্টেম থেকে ডেটা সংগ্রহের জন্য ব্যবহৃত হয়, তবে তাদের ব্যবহার এবং কার্যকারিতায় কিছু পার্থক্য রয়েছে:

  • ListFile ফোল্ডারে উপস্থিত সব ফাইলের তালিকা তৈরি করে এবং ফাইলগুলোকে পরবর্তী প্রক্রিয়াতে প্রেরণ করে।
  • GetFile একটি নির্দিষ্ট ফোল্ডার থেকে সরাসরি ফাইল সংগ্রহ করে এবং সেগুলোকে পরবর্তী প্রসেসিং বা স্থানান্তরের জন্য প্রস্তুত করে।

এই দুটি প্রসেসরের মধ্য দিয়ে আপনি ফাইল সিস্টেমে ডেটা সংগ্রহ এবং প্রক্রিয়া করার কাজটি কার্যকরভাবে করতে পারবেন।

common.content_added_by
Najjar Hossain Raju

common.read_more

Database থেকে ডেটা সংগ্রহ (QueryDatabaseTable, ExecuteSQL) REST API এবং Web Services এর মাধ্যমে ডেটা সংগ্রহ করা Real-time Streaming Data সংগ্রহ (Kafka, MQTT)
টপ রেটেড অ্যাপ

স্যাট অ্যাকাডেমী অ্যাপ

আমাদের অল-ইন-ওয়ান মোবাইল অ্যাপের মাধ্যমে সীমাহীন শেখার সুযোগ উপভোগ করুন।

ভিডিও
লাইভ ক্লাস
এক্সাম
ডাউনলোড করুন

common.or

auth.dont_have_account auth.register

Promotion